Sau khi được thực dân Pháp thả, Đinh Văn Đệ lên Sài Gòn mở quán bán sách rồi mở lớp dạy tư. Năm 1952, Đinh Văn Đệ bị động viên vào Trường sĩ quan trù bị Thủ Đức. Mãn khóa, ông đứng thứ 6 nên được về Bộ Tham mưu Đệ nhất Quân khu (đứng ở tốp 5 thì được ưu tiên về Bộ Tổng tham mưu, từ 6 đến 10 thì về Đệ nhất Quân khu). Viên sĩ quan trẻ, thông minh, nhanh nhẹn Đinh Văn Đệ được thống tướng Lê Văn Tỵ chọn làm trợ lý Tổng tham mưu trưởng, thăng cấp đại úy, sau đó được thăng lên trung tá Chánh văn phòng Tổng tham mưu trưởng QLVNCH vào giữa năm 1957. Cuối năm 1957, tướng Nguyễn Chánh Thi đảo chính hụt Ngô Đình Diệm, ông bị nghi ngờ là dính líu với lực lượng đảo chính và bị quản thúc hơn một tháng.Nhờ mối quan hệ thân thiết của bố vợ ông với Phan Khắc Sửu nên Ba Đệ được bảo lãnh và sau đó được vào học tại Trường Đại học quân sự Đà Lạt và đỗ thủ khoa.